dusty-nv/jetson-containers 지원 패키지 상세

dusty-nv/jetson-containers 지원 패키지 상세

이 보고서는 NVIDIA Jetson 플랫폼을 위한 컨테이너화된 기계 학습(ML) 프레임워크 및 배포를 전문으로 하는 임베디드 AI 시스템 아키텍트의 관점에서, dusty-nv/jetson-containers 저장소가 지원하는 패키지들의 기능과 목적을 심층적으로 분석한다. 이 프로젝트는 Jetson의 제한된 엣지 컴퓨팅 환경에서 AI 워크로드의 복잡성을 관리하고 성능을 극대화하기 위한 정교한 아키텍처적 솔루션을 제공한다.

1. Jetson Containers 아키텍처 및 핵심 인프라

jetson-containers 프로젝트는 임베디드 AI 환경의 고유한 난제, 즉 복잡한 종속성 관리와 ARM 기반 아키텍처에서의 크로스 컴파일 문제를 해결하는 전략적인 오케스트레이션 시스템이다.

1.1 프로젝트의 전략적 역할: 복잡성 추상화 및 배포 자동화

이 저장소의 핵심 가치는 버전 호환성 매트릭스를 자동으로 관리하여 개발자가 AI 모델 개발에 전념할 수 있도록 운영체제 경계를 추상화하는 데 있다.

  1. 유틸리티 기반의 통합 전략:

jetson-containers의 핵심 유틸리티인 autotag와 run은 배포 프로세스를 표준화한다. autotag는 사용자의 현재 L4T(Linux for Tegra)/JetPack 버전에 정확히 호환되는 컨테이너 이미지를 자동으로 식별하거나 빌드를 트리거한다.1 이는 임베디드 환경에서 흔히 발생하는 CUDA-프레임워크 버전 불일치 문제를 근본적으로 해결한다.1 또한 jetson-containers run 명령은 Docker 실행 시 --runtime nvidia 플래그를 포함하여 GPU 접근을 활성화하고, /data 캐시 디렉토리를 마운트하는 등 Jetson 전용 설정을 자동으로 적용하여 실행 환경을 표준화한다.1 개발자는 $ jetson-containers build --name=my_container pytorch transformers ros:humble-desktop와 같은 단일 명령을 통해 PyTorch와 ROS2 같은 이질적인 AI 및 로보틱스 도메인 패키지들을 하나의 환경에 손쉽게 통합할 수 있다.1

  1. L4T 기반 드라이버 통합 (Host-Container Bridge):

Jetson 플랫폼에서 GPU 가속을 사용하려면 컨테이너가 호스트 OS(L4T)에 설치된 특정 드라이버 및 라이브러리에 종속되어야 한다. /etc/nvidia-container-runtime/host-files-for-container.d/l4t.csv 파일은 컨테이너 런타임이 이러한 필수 호스트 파일을 컨테이너 내부로 마운트하도록 지시하는 역할을 한다.2 이 메커니즘은 컨테이너가 호스트 환경의 이점을 활용하면서도, Orin 및 Xavier와 같은 다양한 Jetson 보드 간의 이식성을 보장하는 핵심 기술이다.2

  1. Pip 캐싱 및 빌드 가속화:

빌드 시간을 획기적으로 단축하기 위해 Pip 서버가 PyTorch 등 컴파일에 시간이 오래 걸리는 Python 휠들을 캐시하는 데 활용된다. 이는 컨테이너 재빌드 시 발생하는 지연을 최소화한다. 더 나아가, CUDA_VERSION=12.6와 같은 환경 변수 설정을 통해 사용자는 특정 버전의 CUDA, cuDNN, TensorRT를 유연하게 선택하여 전체 컨테이너 스택을 재빌드할 수 있으며, 이는 개발 유연성을 극대화한다.1

1.2 기본 ML 프레임워크 및 데이터 과학 패키지

이 저장소는 엣지 AI 개발에 필요한 핵심적인 머신러닝 및 데이터 과학 기반 패키지들을 최적화된 형태로 제공한다.

패키지기능 및 목적Jetson 환경에서의 역할
l4t-pytorchPyTorch 딥러닝 프레임워크JetPack/L4T에 최적화된 PyTorch 버전. TensorRT 및 CUDA와의 네이티브 통합이 용이하다.1
tensorflow2TensorFlow 딥러닝 프레임워크다양한 ML 모델의 개발 및 추론 환경을 제공한다.1
numpy, h5py핵심 데이터 과학 라이브러리데이터 전처리, 통계, 전통적인 ML 알고리즘을 지원하며, MLOps 파이프라인의 필수 구성 요소이다.1
opencv컴퓨터 비전 라이브러리이미지 처리 및 비전 애플리케이션의 기본이다. L4T에서 이미 설치된 버전과 Pip 패키지 간의 충돌 관리가 중요하다.5
cuda, cudnnGPU 컴퓨팅 및 딥러닝 라이브러리딥러닝 워크로드의 가속화를 위한 저수준 핵심 드라이버 및 라이브러리이다.1

l4t-pytorch 및 tensorflow2는 딥러닝 모델 개발 및 추론의 기반을 이루며 1, numpy, h5py는 데이터 전처리 및 MLOps 파이프라인 구축을 위한 필수적인 데이터 과학 도구들을 제공한다.

특히, opencv의 경우 Jetson centric Docker 이미지에서 흔히 발생하는 특정 문제가 있다. 기본 이미지에는 종종 APT를 통해 설치된 OpenCV 버전이 포함되어 있는데, Pip을 통해 opencv-python 또는 관련 패키지를 추가로 설치할 경우 기존의 시스템 파일과 충돌이 발생할 수 있다. 이는 버전 불일치로 인해 런타임에서 오류를 유발하며, 이는 엣지 환경에서 종속성 관리가 얼마나 세심해야 하는지를 보여준다.5 또한, 딥러닝 워크로드 가속을 위한 저수준 핵심 라이브러리인 cuda와 cudnn의 최적화된 버전이 컨테이너에 포함되어 GPU 컴퓨팅 환경을 구축한다.1

1.3 빌드 및 개발 도구체인

고성능 라이브러리들은 종종 복잡한 C/C++ 기반의 빌드 시스템을 요구한다. 이 프로젝트는 이러한 복잡성을 관리하기 위한 도구들을 포함한다.

  • cmake 및 ninja: CTranslate2나 TensorRT-LLM과 같이 성능이 중요한 종속성들을 Jetson의 ARM64 아키텍처에서 효율적으로 컴파일하기 위한 빌드 시스템 도구들이다.6 ninja는 병렬 처리를 통해 컴파일 시간을 단축하는 데 기여한다.
  • bazel: 대규모 소프트웨어 프로젝트의 빌드, 테스트, 배포를 관리하는 도구로, 복잡하게 얽힌 종속성을 효율적으로 처리하여 대규모 AI 시스템 개발을 지원한다.
  • protobuf (Protocol Buffers): 고효율의 구조화된 데이터 직렬화 메커니즘을 제공한다. 이는 로보틱스나 산업용 비전 파이프라인(DeepStream, Holoscan)에서 서로 다른 컴포넌트 간 통신 오버헤드를 최소화하여 고성능 데이터 전송을 가능하게 한다.
  • python:3.10 등: 다양한 버전의 Python 환경을 제공하여 특정 프레임워크나 라이브러리 버전 요구사항을 충족시킨다.
  • build-essential, rust, nodejs: 기본적인 시스템 컴파일러, Rust 언어 지원 및 Node.js 환경을 제공하여 다양한 개발 도구 및 웹 UI 기반 애플리케이션 구축을 지원한다.

2. 엣지 AI 성능 최적화 레이어 (The Acceleration Stack)

Jetson의 VRAM 및 전력 제약 조건으로 인해, 모델을 단순히 실행하는 것을 넘어 성능을 극대화하는 전문적인 최적화 계층이 필수적이다. 이 계층은 모델을 ‘실행 가능하게’ 만들고 ’빠르게 실행’되도록 보장하는 역할을 수행한다.

2.1 TensorRT 기반 모델 가속화

  1. TensorRT (TRT): 모델을 Jetson GPU에서 구동하기 위한 핵심 최적화 엔진이다. TensorRT는 모델 그래프를 타겟 GPU에 맞게 변환하고, 레이어 퓨전 및 정밀도 축소(예: INT8 양자화)를 적용하여 추론 성능을 극대화한다.8 특히, INT8 엔진 빌드 단계에서는 정확도 유지를 위한 보정(Calibration) 과정이 필요하며, 이 과정에서 GPU 장치 메모리를 상당량 할당한다.9
  2. torch2trt / torch_tensorrt: PyTorch로 개발된 모델을 NVIDIA TensorRT 추론 엔진으로 변환하는 라이브러리들이다. 이는 연구 및 개발의 유연성(PyTorch)과 프로덕션 환경에서의 최고 성능(TensorRT)을 결합하기 위한 필수적인 미들웨어이다.
  3. tritonserver (Triton Inference Server): 엣지 디바이스에서 여러 AI 모델의 동시 추론을 관리하고 GPU 자원 활용을 최적화하기 위한 표준 서버이다.4 실시간 로보틱스 및 산업용 애플리케이션에서 안정적인 모델 배포를 가능하게 한다.

2.2 대규모 모델(LLM) 및 메모리 효율성 최적화

LLM 워크로드를 Jetson에서 구동하는 능력은 모델의 경량화와 메모리 최적화 기술에 전적으로 의존한다.

  1. NanoLLM: Jetson에 특화된 경량, 고성능 LLM 추론 라이브러리이다.1 이 라이브러리는 HuggingFace와 유사한 API를 제공하지만, 백엔드에서는 MLC/TVM 및 AWQ와 같은 고도로 최적화된 추론 라이브러리를 사용한다. 이를 통해 VRAM이 제한적인 Jetson Orin Nano에서도 Llama 3 8B 같은 대형 모델을 양자화하여 효율적으로 실행할 수 있다.1 또한, NanoLLM은 벡터 데이터베이스 및 RAG(검색 증강 생성) 기능을 내장하여, 엣지 환경에서 데이터 기반의 지식 검색을 포함한 완벽한 LLM 파이프라인 구축을 지원한다.1
  2. TensorRT-LLM: Jetson AGX Orin 및 JetPack 6.1 (L4T r36.4) 이상의 고성능 Jetson 환경에서 LLM 추론 지연 시간과 처리량을 극대화하기 위한 NVIDIA의 최상위 LLM 솔루션이다. 컨테이너 이미지 크기가 18.5GB에 달하며, 고성능을 위해서는 NVMe SSD가 강력히 권장된다.
  3. 메모리/효율성 라이브러리:
  • xformers 및 Flash Attention: 트랜스포머 기반 모델(LLM, Stable Diffusion)의 어텐션 메커니즘을 최적화하여 GPU 메모리 사용량을 획기적으로 줄이고 처리 속도를 개선한다.4 이는 제한된 VRAM으로 인해 발생하는 OOM(Out-of-Memory) 오류를 방지하고 대규모 모델 실행의 안정성을 확보하는 데 필수적이다.10 Stable Diffusion 웹 UI 컨테이너는 기본적으로 xformers를 활용하도록 설정되어 있다.7
  • AWQ (Activation-aware Weight Quantization), auto_gptq, auto_awq, bitsandbytes: 이들은 모델 가중치를 4비트 또는 8비트로 양자화하여 모델의 메모리 점유율을 대폭 감소시키는 라이브러리이다.11 HuggingFace Transformers API와 함께 사용되어 엣지 디바이스에서 거대한 모델을 로드할 수 있게 만든다. 예를 들어, bitsandbytes를 설치하면 load_in_8bit=True 플래그를 통해 8비트 양자화 모델 로딩이 가능해진다.10

이러한 최적화 패키지들의 존재는 표준 ML 프레임워크가 Jetson의 성능 요구를 충족하기에 불충분하며, 엣지 AI 배포에서는 모델 경량화(양자화)와 하드웨어 최적화(전용 런타임)의 결합이 필수적인 설계 요소임을 시사한다.

3. 생성형 AI 애플리케이션: LLM, 비전 및 3D 모델링

3.1 LLM 및 RAG 시스템 구성 요소

RAG 시스템을 엣지에서 구현하기 위해 검색 및 지식 기반 구축을 위한 전문 패키지들이 지원된다.

  1. NanoDB (Vector Database): Jetson 환경에 최적화된 경량 벡터 데이터베이스이다. RAG 워크플로우의 검색 단계를 로컬에서 고속으로 처리하는 것이 주된 목적이다.4 이 데이터베이스는 FAISS를 활용하여 GPU 가속 검색을 지원하며, MS COCO와 같은 대규모 멀티모달 데이터셋의 임베딩을 색인화할 수 있다.4 이는 엣지 디바이스에서 데이터 프라이버시를 유지하며 실시간 컨텍스트를 제공하는 데 필수적이다.
  2. LlamaIndex: RAG 파이프라인을 쉽게 구축할 수 있도록 돕는 고수준 프레임워크이다.5 다양한 데이터 소스를 연결하고, 임베딩을 생성하며, LLM에 컨텍스트 정보를 효과적으로 주입하는 복잡한 과정을 추상화하여 개발 속도를 높인다.5
  3. jetson-copilot: RAG, LLM 및 임베디드 AI 애플리케이션을 위한 샘플 또는 레퍼런스 구현체를 제공한다.

3.2 비전 및 3D 모델링 패키지

  1. nerfstudio (Neural Radiance Fields): 여러 2D 이미지로부터 3D 장면을 재구성하고 시각화하기 위한 툴킷이다.12 NeRF는 계산 집약적인 작업이므로, jetson-containers를 통해 이 환경을 Jetson AGX Orin/NX에서 실행 가능하게 만든 것은 공간 AI 구현의 중요한 진전이다.12 이는 로보틱스 분야에서 환경 모델링(예: FruitNeRF)에 적용된다.5
  2. Stable Diffusion / Stable Diffusion XL, comfyui: 텍스트-이미지 생성 모델 및 웹 UI/워크플로우 환경을 제공한다.7 컨테이너는 웹 UI를 통해 쉽게 접근할 수 있도록 배포되며, --xformers 같은 메모리 최적화 기술을 기본으로 적용하여 엣지 GPU에서 대형 모델을 실행할 수 있도록 한다.7
  3. Vision Transformers (ViT, SAM):
  • EfficientViT, NanoOWL, NanoSAM, SAM, tam: 엣지 디바이스에서 고성능 비전 작업을 위해 경량화되거나 효율성을 개선한 Vision Transformer 기반 모델들이다.5 NanoSAM은 특히 엣지에서 실시간 이미지 분할을 위해 설계되었다.5
  1. MAMBA (Vision Mamba): 최신 State Space Model (SSM) 아키텍처인 Vision Mamba의 지원을 포함한다.13 이는 고성능 Jetson 디바이스(예: AGX Orin 64GB)에서 트랜스포머의 계산 복잡도를 대체하며 효율성을 높이기 위한 연구 및 배포의 일환이다.
  2. clip_trt: CLIP (Contrastive Language–Image Pre-training) 모델을 TensorRT로 최적화하여 고속 멀티모달 추론을 가능하게 한다.

4. 오디오 및 음성 인터페이스 패키지

저지연성 음성 처리(ASR/TTS)는 로보틱스 및 스마트홈 인터페이스의 핵심 요구 사항이며, 이는 최적화된 C++ 기반 런타임에 크게 의존한다.

4.1 음성 인식 (ASR) 패키지

  1. faster-whisper: Whisper ASR 모델의 가속화된 버전이다. PyTorch 대신 OpenNMT의 C++ 기반 추론 라이브러리인 CTranslate2를 백엔드로 사용하여 음성 인식 속도를 비약적으로 향상시킨다.14 jetson-containers는 이 패키지를 위해 ctranslate2 C++ 라이브러리를 소스로부터 빌드하고 통합하는 복잡한 종속성 관리를 자동화한다.14
  2. whisper / whisperx: 기본 Whisper 구현체 및 확장 도구이지만, faster-whisper에 비해 numba와 같은 종속성 문제나 성능 저하로 인해 엣지 환경에서는 faster-whisper가 선호된다.
  3. riva-client:cpp, riva-client:python: NVIDIA Riva SDK에 접근하기 위한 클라이언트 라이브러리이다. GPU 가속을 통해 고품질의 실시간 ASR 및 TTS 서비스를 제공한다.15

4.2 텍스트-음성 변환 (TTS) 및 오디오 생성

  1. piper-tts: 경량 TTS 엔진으로, onnxruntime 및 CUDA를 사용하여 최적화된 실시간 음성 합성을 제공한다.16 메모리 효율성이 뛰어나 Jetson Orin Nano와 같은 소형 장치에 적합하다.16
  2. xtts (Coqui xTTS): 고품질 TTS 모델이다. AGX Orin에서 TensorRT 최적화를 적용했을 때 실시간(real-time factor \sim 0.92 - 1.0)에 근접하는 성능을 보였다. 이는 고품질 오디오를 생성하면서도 성능을 유지하려는 노력을 보여준다.16
  3. audiocraft / voicecraft: 생성형 오디오(음악 및 음성) 모델을 위한 지원 패키지들이다.5

4.3 스마트홈 및 IoT 프로토콜 통합

  1. Wyoming Protocol 기반 패키지: Home Assistant와 같은 스마트홈 플랫폼에 로컬 AI 서비스를 통합하기 위한 표준 프로토콜 구현체이다.15
  • wyoming-whisper / wyoming-piper: GPU 가속 ASR과 TTS 기능을 Wyoming 프로토콜을 통해 Home Assistant에 노출한다.17 이는 저지연성, 로컬 음성 처리 기능을 스마트홈 환경에 통합하여 중앙 서버 의존성을 줄인다.15
  • wyoming-openwakeword: Home Assistant 인스턴스에 연결된 저지연성, 로컬 웨이크 워드 감지 기능을 제공한다.

5. 로보틱스, 임베디드 센서 및 산업용 SDK 통합

5.1 로보틱스 및 센서 지원

  1. ROS2 (ros:humble-desktop 등): 로보틱스 시스템 개발의 표준 미들웨어이다.17 이 컨테이너는 PyTorch 및 Transformers와 같은 AI 모델링 기능과 ROS2 제어 파이프라인을 하나의 통합 환경에서 결합하는 데 필수적이다.17
  2. ZED 및 RealSense: 3D 비전 및 깊이 카메라 SDK 인터페이스를 제공한다. Stereolabs의 ZED X 카메라는 특히 NVIDIA Jetson 플랫폼과의 원활한 통합을 염두에 두고 설계되었으며, jetson-containers는 이 센서의 SDK와 Jetson 컴퓨팅 환경 간의 연동을 보장한다.18
  3. jetcam: 카메라 입력을 Jupyter 환경 등에서 쉽게 처리하고 시각화할 수 있는 경량 Python API로, 신속한 로보틱스 프로토타이핑을 위해 사용된다.
  4. lerobot, robomimic, robosuite, mimicgen: 로보틱스 학습 및 시뮬레이션 환경 구축을 위한 패키지들이다.

5.2 고신뢰성 산업용 SDK

  1. Holoscan SDK: 의료 및 산업용 애플리케이션을 위한 실시간 AI 파이프라인 프레임워크이다.11
  • 기능 및 목적: 센서 데이터 스트리밍, 전처리, TensorRT 추론, 후처리 및 렌더링을 포함하는 저지연성 파이프라인을 구축한다.11 jetson-containers는 Holoscan의 복잡한 C++/Python 및 CMake 빌드 프로세스를 컨테이너화하여, Endoscopy Tool Tracking과 같은 실시간 정밀 애플리케이션을 Jetson에 안정적으로 배포할 수 있게 한다.11
  1. DeepStream SDK: 대규모 비디오 데이터 스트림 분석 파이프라인에 최적화된 프레임워크이다. 여러 비디오 소스에 대해 객체 감지, 추적 등의 AI 추론을 TensorRT를 사용하여 고성능으로 수행한다.
  2. nemo: NVIDIA NeMo는 대규모 언어, 음성, 비전 모델을 개발하기 위한 프레임워크이다. Jetson 환경에서 이러한 모델의 추론 및 경량화를 지원한다.

6. 전문 데이터 과학 및 MLOps 도구

6.1 RAPIDS GPU 데이터 과학

  1. RAPIDS (cuDF, cuML, raft): 데이터 과학 워크플로우를 CPU에서 GPU로 완전히 오프로드하여 가속화하는 라이브러리 모음이다.19
  • cuDF: Pandas와 유사한 데이터프레임 조작 기능을 GPU에서 실행하여 데이터 전처리 속도를 혁신적으로 높인다.19
  • cuML: GPU 가속 머신러닝 알고리즘(예: 클러스터링, 분류)을 제공한다.19
  • raft: GPU 기반 기본 데이터 과학 알고리즘 집합을 제공하며, RAPIDS의 핵심 구성 요소이다.19
  • 목적: Jetson에서 데이터 로딩 및 전처리 단계가 CPU 병목 현상이 되지 않도록 방지하고, 전체 MLOps 파이프라인의 효율성을 향상시킨다.19

6.2 병렬 컴퓨팅 및 고급 도구

  1. Numba, CuPy, pycuda:
  • Numba: Python 코드를 JIT 컴파일하여 CPU 또는 GPU에서 고성능을 얻게 한다.4
  • CuPy: NumPy와 호환되는 API를 제공하지만, 모든 연산을 GPU에서 실행하여 배열 기반 연산의 속도를 가속화한다.4
  • pycuda: Python에서 CUDA C/C++ API에 직접 접근하여 커스텀 GPU 커널을 작성할 수 있게 해주는 라이브러리로, 매우 세밀한 성능 최적화가 필요할 때 사용된다.4
  1. JAX: Google에서 개발한 고성능 수치 계산 라이브러리이다. XLA 컴파일러를 사용하여 GPU 성능을 극대화하며, 복잡한 ML 연구 및 모델 구현을 지원한다.

7. 결론 및 아키텍처적 함의

dusty-nv/jetson-containers 저장소는 단순한 컨테이너 이미지 모음을 넘어, NVIDIA Jetson 플랫폼을 위한 고도로 최적화되고 통합된 AI 소프트웨어 배포 시스템이다. 지원되는 광범위한 패키지 목록을 분석한 결과, 이 아키텍처는 복잡성 자동화와 성능 특화라는 두 가지 핵심 원칙을 중심으로 구축되었음이 명확하다.

복잡성 자동화: autotag 및 L4T 호스트 파일 관리 메커니즘을 통해, 개발자는 Jetson 환경의 고질적인 버전 불일치 문제로부터 해방되며, 이는 엣지 AI 개발의 속도와 안정성을 크게 향상시킨다.1

성능 특화: LLM 분야에서 NanoLLM, TensorRT-LLM과 같은 전용 런타임과 AWQ, xformers 같은 경량화 및 메모리 효율성 도구의 동시 지원은, 엣지 AI의 성공이 모델의 압축성과 하드웨어 맞춤형 가속에 달려 있음을 방증한다. 이들은 제한된 VRAM을 효율적으로 사용하여 대형 생성 모델을 임베디드 장치에서 실질적으로 운용 가능하게 만든다.

결론적으로, 이 컨테이너 생태계는 기본적인 ML 프레임워크를 제공하는 것을 넘어, 로보틱스(ROS2), 산업용 비전(Holoscan), 그리고 고성능 데이터 과학(RAPIDS)에 이르기까지 Jetson이 목표로 하는 모든 핵심 도메인에 대한 통합적이고 성능 최적화된 배포 경로를 제공하는, 임베디드 AI 아키텍처의 핵심 인프라로 기능하고 있다.

8. 참고 자료

  1. dusty-nv/jetson-containers: Machine Learning Containers for NVIDIA Jetson and JetPack-L4T - GitHub, https://github.com/dusty-nv/jetson-containers
  2. How to find the library packages for specific board needed to mount into containers? - Jetson Xavier NX - NVIDIA Developer Forums, https://forums.developer.nvidia.com/t/how-to-find-the-library-packages-for-specific-board-needed-to-mount-into-containers/273805
  3. Jetson-containers keep exiting with error code but not sure what it means, https://forums.developer.nvidia.com/t/jetson-containers-keep-exiting-with-error-code-but-not-sure-what-it-means/320624
  4. Pip install opencv-python conflict with Jetson docker container | by Stephen Cow Chau, https://stephencowchau.medium.com/pip-install-opencv-python-conflict-with-jetson-docker-container-777e16cdef0a
  5. Ctranslate 2 issue - Jetson Orin NX - NVIDIA Developer Forums, https://forums.developer.nvidia.com/t/ctranslate-2-issue/335263
  6. Tutorial - Holoscan SDK - NVIDIA Jetson AI Lab, https://www.jetson-ai-lab.com/tutorial_holoscan.html
  7. Protocol Buffer Rules | Bazel, https://bazel.build/reference/be/protocol-buffer
  8. NVIDIA TensorRT 8.6.11 Developer Guide for DRIVE OS, https://developer.nvidia.com/docs/drive/drive-os/6.0.8/public/drive-os-tensorrt/developer-guide/index.html
  9. Cant use torch2trt in the volume of the container - Jetson Nano - NVIDIA Developer Forums, https://forums.developer.nvidia.com/t/cant-use-torch2trt-in-the-volume-of-the-container/275576
  10. NanoLLM - NVIDIA Jetson AI Lab, https://www.jetson-ai-lab.com/tutorial_nano-llm.html
  11. TensorRT-LLM - NVIDIA Jetson AI Lab, https://www.jetson-ai-lab.com/tensorrt_llm.html
  12. Tutorial - Stable Diffusion - NVIDIA Jetson AI Lab, https://www.jetson-ai-lab.com/tutorial_stable-diffusion.html
  13. Optimizing your LLM in production - Hugging Face, https://huggingface.co/blog/optimize-llm
  14. Tutorial - API Examples - NVIDIA Jetson AI Lab, https://www.jetson-ai-lab.com/tutorial_api-examples.html
  15. nerfstudio - NVIDIA Jetson AI Lab, https://www.jetson-ai-lab.com/nerf.html
  16. NanoDB - NVIDIA Jetson AI Lab, https://www.jetson-ai-lab.com/tutorial_nanodb.html
  17. Mamba (State Spaces Models) · Issue #447 · dusty-nv/jetson-containers - GitHub, https://github.com/dusty-nv/jetson-containers/issues/447
  18. jetson-containers build [package] results in error · Issue #551 - GitHub, https://github.com/dusty-nv/jetson-containers/issues/551
  19. Enabling API for jetson container AudioCraft - NVIDIA Developer Forums, https://forums.developer.nvidia.com/t/enabling-api-for-jetson-container-audiocraft/294689
  20. Jetson AI Lab - Home Assistant Integration, https://forums.developer.nvidia.com/t/jetson-ai-lab-home-assistant-integration/288225
  21. Jetson AI Lab - Home Assistant Integration - Page 2 - NVIDIA Developer Forums, https://forums.developer.nvidia.com/t/jetson-ai-lab-home-assistant-integration/288225?page=2
  22. ZED X and NVIDIA Jetson: In-depth review - Intermodalics, https://www.intermodalics.ai/blog/zed-x-and-nvidia-applications-architecture-and-integrations
  23. RAPIDS Installation Guide, https://docs.rapids.ai/install/